Ejercicio 1: Utilizando los datos de ecobici_2010_2017 y MapReduce averigua ¿Cuántos registros hay por cicloestación?

Imágen del jps del clúster y map reduce exitoso

Imágen de localhost:8088 seleccionando la opción Nodes

Imágen de localhost:8088 seleccionando la opción FINISHED para ver que los jobs corrieron existosamente

Se muestran resultados

Ejercicio 2: Con los datos de vuelos retrasados en USA hacer un join del lado del mapper con flights, airports y airlines. Primero intenta una sola llave o flights o airports

para este caso el Join se hzizo en 2 partes, la primera se unio flights con airlines utilizando los programas mapper2 y reducer2 que se agregan en la carpeta del ejercicio 2 y la segunda parte uso airports con el resultado del join anterior a través de mapper2_1 y reducer2_1:

Mapper2 y reducer2 corre con la linea cat /home/abraham/MGE_2018/tarea3/flights.csv /home/abraham/MGE_2018/tarea3/airlines.csv | python /home/abraham/MGE?2018/tarea3/mapper2.py | sort -r | python /home/abraham/MGE?2018/tarea3/reducer2.py>/home/abraham/MGE_2018/tarea3/ejer2/outaux.csv

mapper 2_1 y reducer 2_1 y corren correctamente con la linea cat /home/abraham/MGE_2018/tarea3/ejer2/outaux.csv /home/abraham/MGE_2018/tarea3/airports.csv | python /home/abraham/MGE?2018/tarea3/ejer2/mapper2_1.py | sort –version-sort | python /home/abraham/MGE?2018/tarea3/ejer2/reducer2_1.py

con ambos obtenemos lo siguiente:

jps y map reduce exitoso

localhost con nodes

localhost con finished

se muestran resultados

se anexa una muestra de la salida en el archivo output2.txt de la carpeta del ejercicio 2.

Ejercicio 3: Con los datos de vuelos retrasados en USA hacer un join del lado del reducer con flights, airports y airlines. Primero intenta una sola llave o flights o airports

al igual que en el ejemplo anterior se hace el join en 2 pasos primero airlines con flights usando los programas mapper3.py y reducer3.py y luego con ese resulado unido a airports y se usan los programas mapper3_1 y reducer3_1.

Mapper2 y reducer2 corre con la linea cat /home/abraham/MGE_2018/tarea3/flights.csv /home/abraham/MGE_2018/tarea3/airlines.csv | python /home/abraham/MGE?2018/tarea3/ejer3/mapper3.py | python /home/abraham/MGE?2018/tarea3/ejer3/reducer3.py

Mapper

Reducer

cat /home/abraham/MGE_2018/tarea3/ejer3/outaux3.csv /home/abraham/MGE_2018/tarea3/airports.csv | python /home/abraham/MGE?2018/tarea3/ejer3/mapper3_1.py | python /home/abraham/MGE?2018/tarea3/ejer3/reducer3_1.py

Mapper3_1

Reducer3_1

jps y map reduce exitoso

jps

mapred

localhost con nodes

locahost con finished

Se muestran resultados del output3.txt, se utilizó una muestra dado el peso del archivo